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Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Inf ormations- 
anzeige in einem Kraf tf ahrzeug nach der Gattung des Hauptan- 
spruchs . 

in heutigen Fahrzeugen existieren keinerlei automatisierte 
Funktionen zur Unterstutzung des Fahrers bei der Verkehrs- 
Z eichenerkennung. Diese hat jedoch einen hohen Komfort- und 
Sicherheitswert, z.B. zur Warnung des Fahrers bei Geschwm- 
digkeitsbeschrankungen oder uberholverboten, bzw. zur Infor- 
mation des Fahrers uber momentan geltende Beschrankungen auf 
dessen Wunsch. Bei der existierenden Verkehrsinf rastruktur 
kann eine Erkennung und Auswertung von verkehrszeichen nur 
mit Hilfe von Bildsensoren erfolgen, da die Information rem 
optisch auswertbar vorliegt. Aufgrund der hohen Komfort- und 
Sicherheitsrelevanz einer Verkehrszeichenerkennung wxrd an 
videobasierter Verkehrszeichenerkennung gearbeitet . Die be- 
kannten Ansatze gehen alle von einer Einschrankung der zu 
erkennenden Verkehrszeichenmenge aus. Basierend auf der zu 
erkennenden Verkehrszeichenmenge erfolgt eine Bildsegmentie- 
rung des von einer Kamera aufgenommenen Bildes, urn die in- 
teressierenden Verkehrszeichen zu erkennen und zu klassifi- 
zieren. Mit der Klassif izierung wird die Verkehrszeichenin- 
formation gewonnen. z.B. Geschwindigkeitsbegrenzung auf 70 
km/h Die klassifizierte Verkehrszeicheninf ormation wird dem 
Fahrer uber ein entsprechendes Anzeigefeld mitgeteilt, indem 
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z.B. die Zif fernkombination „70 n angezeigt wird. Mit dem 
Verfahren, die Inf ormationen des durch den Sensor gewonnenen 
Bildes auf Verkehrszeichen zu untersuchen und die Auswertung 
dem Fahrer anzuzeigen, ergibt sich das Problem, da£ die 
5 Klassifikation sehr sicher erfolgen muS. Andernfalls ist 

nicht auszuschliefcen, da£ der Fahrer falsch informiert wird. 
Es ist zu erwarten, dafc Fehlklassif ikationen einerseits die 
Akzeptanz eines solchen Systems herabsetzen, andererseits 
produkthaftungsrechtliche Fragen aufwerfen konnen. Wird ei- 

10 nem Fahrer eine falsche Ges chwindigkeitsbeschrankung einge- 

spielt, so dafi er die Hochstgeschwindigkeit uberschreitet , 
so stellt sich die Frage, wer die Haftung aus daraus resul- 
tierenden Schaden ubernimmt. Nach dem Stand der Technik sind 
Fehlklassif ikationen bei der Erkennung von Verkehrszeichen 

15 nicht auszuschliefcen. 

Vorteile der Erfindung 

Das erfindungsgemafce Verfahren zur Inf ormationsanzeige mit 
20 den kennzeichnenden Merkmalen des Hauptanspruchs hat demge- 

genuber den Vorteil, dafc direkt ein Ausschnitt des vom Sen- 
sor ermittelten Bildes angezeigt wird, ohne daS eine Auswer- 
tung nach dem Inhalt des Verkehrszeichens und eine Klassifi- 
kation erfolgt. Die Auswertung des Bildes der Kamera sucht 
25 nach den Umrissen der Verkehrszeichen und stellt diesen 

Bildausschnitt direkt dem Fahrer dar. Eine Klassifikation 
nimmt der Fahrer selbst vor, er wird lediglich auf das Ver- 
kehrszeichen hingewiesen und bekommt es auf unterstutzende 
Art prasentiert. Sollte bei der Auswertung ein Fehler unter- 
30 laufen, wird dem Fahrer lediglich ein Bildausschnitt ohne 

Verkehrszeichen dargestellt, das er einfach ignorieren kann. 

Durch die in den Unteranspruchen aufgefuhrten Mafinahmen ist 
eine vorteilhafte Weiterbildung und Verbesserung des im 
35 Hauptanspruch angegebenen Verfahrens mdglich. Besonders vor- 
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teilhaft ist es. daS zusatzlich zu dem Verkehrszeichen noch 
weitere Information dargestellt werden konnen, wenn die 
Auswerteeinheit zusatzlich Informationen von anderen Fahr- 
zeugsensoren aufier der Kamera erhalt. Vorteilhaf terweise 
5 kann so sowohl die Zeit als auch die Entfernung seit der 

letzten Erkennung eines Verkehrszeichens angezeigt werden. 

vorteilhaf terweise kann das Verfahren auch Verkehrszeichen 
nut Zusatzinformationen z.B. „nur bei Nasse« bei Geschwin- 
10 digkeitsbeschrankungen erfassen. Die Darstellung des Ver- 

kehrszeichens erfolgt mit detn Zusatzschild, wobei die Dar- 
stellung im Anzeigefeld des Fahrzeugs zwar die Schrift nicht 
mehr auflosen kann aber auf das Vorhandensein des Zusatzzei- 
chens hinweist. 

Vorteilhaft ist auch, dafi bei zusatzlicher Wamung des Fah- 
rers basierend auf einer Verkehrszeichenklassif ikation die 
Transparenz des Verfahrens erhalten bleibt. Die akustische, 
haptische Oder optische Warnung des Fahrers basierend auf 
der informationsverarbeitung kann durch den Fahrer leicht 
durch Vergleich mit dem Bild des Anzeigefelds verglichen 
werden. 

Zeichnung 

Ausfuhrungsbeispiele der Erfindung sind in den Zeichnungen 
dargestellt und in der nachfolgenden Beschreibung naher er- 
lautert. Figur l zeigt ein Fahrzeug mit einem Bildsensor, 
Figur 2 eine beispielhaf te Strafcenszene , Figur 3 eine bei- 
30 spielhafte Strafcenszene mit einer zweiten Darstellungsmog- 

lichkeit, Figur 4 eine Strafienszene mit beispielhaf ter Dar- 
stellungsmoglichkeit, Figur 5 eine beispielhaf te Strafiensze- 
ne mit Darstellungsmoglichkeit und Figur 6 schematische Dar- 
stellung der Sensorik im Kraf tfahrzeug. 



20 



25 



35 
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Beschreibung des Ausfuhrungsbeispiels 

Figur 1 zeigt die Posit ionierung des Bildsensors 2 innerhalb 
des Fahrzeugs 1, Der Bildsensor 2 wird moglichst hoch an 
5 zentraler Position hinter der Windschutzscheibe angebracht, 

wobei die Blickrichtung in Fahrtrichtung ausgerichtet ist. 
Der Sensor sollte sich noch im Bereich der Scheibenwischer 
befinden. Figur 2 zeigt beispielhaft eine Fahrbahn 3, die 
von Fahrbahnbegrenzungen 9 eingefaSt ist. Auf der entgegen- 
10 kommenden Fahrbahn ist schematisch ein entgegenkoramendes 

Fahrzeug 8 dargestellt. Am rechten Fahrbahnrand ist eine 
Verkehrsschildkombination installiert. Das Verkehrszeichen 4 
besitzt ein einschrankendes Zusatzzeichen 5. Zudem ist das 
Verkehrszeichen 6 „Achtung Fahrbahnunebenheiten" instal- 
ls liert. Aus dem Blick des Fahrers ist das Armaturenbrett 10 
des eigenen Fahrzeugs mit dem Lenkrad 12 zu sehen. Im Arma- 
turenbrett 10 ist ein Bildschirm 11 im Blickfeld des Fahrers 
eingelassen, auf dem der vom Bildsensor erfaiSte und von der 
Bildverarbeitung herausgeloste Bildausschnitt 7 mit den in- 
20 teressierenden Verkehrszeichen dargestellt wird. 

Figur 3 zeigt eine Szene wie in Figur 2 beschrieben, wobei 
zusatzlich eine Information 13 in einem Feld des Armaturen- 
bretts dargestellt ist. Figur 4 zeigt eine weitere Darstel- 

25 lungsform, wobei eine Entfernungsangabe 14 zusatzlich darge- 

stellt ist. Figur 5 zeigt die Darstel lungs form mit einer 
zeitlichen Angabe 15. Figur 6 zeigt schematisch eine mogli- 
che Realisierung des Sensoraufbaus zur Fahrerunterstutzung. 
Der Bildsensor 2 ist iiber eine Leitung mit einer Auswer- 

30 teelektronik 16 verbunden. Die Auswerteelektronik 16 weist 

weitere Verbindungen zu weiteren Sensoren 19 z.B. einen 
Tippschalter , uber den Fahrerwunsche an die Auswerteelektro- 
nik vermittelt werden konnen, und Fahrzeugsensoren 18, die 
z.B. Fahrzeuggeschwindigkeit, Entfernung oder Zeitmessungen 

35 vornehmen. Die Auswerteelektronik 16 ist mit dem Steuergerat 
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17 verbunden, dafi wiederum mit einem Anzeigefeld 11 in Ver- 
bindung steht. Der Bildsensor 2 wird in Fahrtrichtung des 
Fahrzeugs positioniert und nimmt Videobilder der Fahrzeugum- 
gebung auf . Diese Bilder werden uber die Leitung an die Aus- 
werteelektronik vermittelt. In der Auswerteelektronik ist 
eine Software einzusetzen, die die fur die Fahrerunterstut- 
zung benotigten Verkehrszeichen von sonstigen Bildteilen 
trennen kann. Im allgemeinen werden nicht samtliche Ver- 
kehrszeichen herausgetrennt. Dies hangt aber von der gewahl- 
ten Art der Fahrerunterstutzung ab. Mochte man dem Fahrer 
beispielsweise nur bezuglich der besonders wichtigen Klasse 
von fahrgeschwindigkeitsbegrenzenden Verkehrszeichen unter- 
stutzen, so wird man die Software derart gestalten, daS nur 
Verkehrszeichen erkannt werden. die eine Begrenzung der 
Hochstgeschwindigkeit vorgeben. Die Software erkennt Ver- 
kehrszeichen anhand ihrer UmriBstruktur 7 anhand der Farben 
Oder anhand der auf dem Zeichen befindlichen optischen 
Strukturen. Zur Verkehrszeichensegmentierung sind geeignete 
Algorithmen bekannt. z.B. aus „Detektion von Verkehrszeichen 
aus monochronen Bildfolgen» Diplomarbeit Holger JanSen, In- 
stitut fur theoretische Nachrichtentechnik, Universitat Han- 
nover 1997. 1st ein zur Fahrerunterstutzung notwendiges Ver- 
kehrszeichen in einem Sensorbild segmentiert worden, so kann 
dieses in darauf £ olgenden Bildern jeweils wieder segmentiert 
und zeitlich verfolgt werden bis es das Blickfeld des Sen- 
sors verlaSt. Durch wiederholtes Segmentieren und zeitliche 
verfolgung list sich eine Stabilisierung der Erkennung rele- 
vanter Verkehrszeichen erreichen. Nach der Segmentierung ist 
in geeigneter Art eine Klassif izierung vorzunehmen, da zu 
entscheiden ist, ob ein fur die Fahrerunterstutzung relevan- 
tes Verkehrszeichen vorliegt. Dabei wird ein fur die Fahrer- 
unterstutzung relevantes Verkehrszeichen nicht lediglich mit 
seinem Informationsinhalt dargestellt, sondern der Bildaus- 
schnitt, der das Verkehrszeichen enthalt, wird dem Fahrer 
direkt uber ein Anzeigefeld 11 angezeigt. Erfolgt die Ver- 
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kehrszeichenerkennung und Segment ierung fehlerhaft, was bei 
der Komplexitat der Verkehrszeichenerkennung nicht vollkom- 
men auszuschlieSen ist, so sieht der Fahrer in seinem Anzei- 
gefeld einen beliebigen f ehl segment iert en Szenenausschnitt 
ohne verkehrszeichen. Er kann das Fehlverhalten des Systems 
sofort erfassen und danach handeln. Es wird keine falsche 
Sicherheit vom System vorgegaukelt . 

Das System zur Unterstutzung des Fahrers kann noch in ver- 
schiedenen Verbesserungen vorkommen. Mit Hilfe algorithm! - 
scher Verfahren last sich unter Umstanden die Bildqualitat 
des vom Bildsensor aufgenommenen Bildes verbessern. Hierzu 
zahlen vor allem Methoden der Bildauf hellung bzw. Bildver- 
dunklung, Kontrastverstarkung und Kantenanhebung. Durch die- 
se Verfahren wird das Bild lediglich fur die Betrachtung 
durch den Fahrer verbessert, aber nicht sein Informationsge- 
halt verfalscht oder interpret iert. 

Eine vorteilhafte Ausgestaltung des Systems erlaubt, dafi das 
letzte segmentierte Verkehrszeichen aus der Menge der fur 
die jeweilige, gewunschte Fahrerunterstutzung relevanten 
Verkehrszeichen dem Fahrer auf dem Anzeigefeld 11 standig 
prasentiert wird. Auf Autobahnen, auf denen im wesentlichen 
Geschwindigkeitsbegrenzungen, uberholverbote und deren Auf- 
hebungen vorkommen, konnte der Fahrer durch Presentation des 
letzten segmentierten Verkehrszeichens uber die jeweils gel- 
tende letzte Fahrbeschrankung informiert werden. 

Eine weitere vorteilhafte Ausgestaltung des Systems erlaubt 
es, eine bestimmte Anzahl der zeitlich zuletzt segmentierten 
verkehrszeichenbilder in einem elektronischen Speicher zu 
halten. In diesem Fall ist eine Eingabemoglichkeit uber eine 
Tastatur 19 fur den Fahrer vorzusehen, die es ihm ermoglicht 
anzugeben, welches Zeichen er prasentiert bekommen mochte. 
Besonders sinnvoll ist eine sequentielle Presentation der 
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gespeicherten Verkehrszeichenbilder beginnend mit dem zeit- 
lich zuletzt segment ierten Zeichen. Dabei kann der Fahrer 
durch Geben eines Signals, z.B. durch geeignete Tippschalter 
oder eine akustische Eingabe uber einen geeigneten Eingabe- 
5 sensor 19 zum nachsten alteren segmentierten Verkehrs zeichen 

schalten. Somit ist eine Erinnerung des Fahrers auf dessen 
Wunsch hin an die zeitlich zuletzt erkannten und segmentier- 
ten Verkehrszeichen moglich. Neben der ausschliefclichen Pra- 
sentation der segmentierten Verkehrszeichen ist eventuell 

10 eine zusatzliche Zeicheninterpretation sinnvoll. Dabei kann 

eine symbolhafte Information des Fahrers durch definierte 
Zeichen 13, siehe Figur 3, erfolgen. In diesem Fall kann der 
Fahrer durch Vergleich der angezeigten Zeichen mit dem 
gleichzeitig prasentierten Bildausschnitt sofort feststel- 

15 len, ob die automat ische Verkehrszeicheninterpretation feh- 

lerhaft erfolgt. Auch hier ist die Funktion des Systems 
transparent, so dafc die Verantwortung ausschliefclich beim 
Fahrer verbleibt. 

20 In einer weiteren Ausfuhrungsf orm werden Warnungen an den 

Fahrer ausgegeben, die aufgrund von Inf ormationen weiterer 
Fahrzeugs ens or en gewonnen werden. So kann z.B. ein Geschwin- 
digkeitssignal mit der Ausgabe einer Warming kombiniert wer- 
den. Wenn der Fahrer schneller fahrt, als die nach dem Ver- 

25 kehrszeichen zulassige Hochtgeschwindigkeit erlaubt, wird 

diese Diskrepanz von der Auswerteinheit erkannt und ein aku- 
stisches Warnsignal generiert. Dabei ist es mdglich, einen 
Warnton, eine akustische Sprachausgabe , oder auch eine opti- 
sche Warnanzeige zu aktivieren. 

30 

In einer weiteren Ausfuhrungsf orm wird uber den Bildsensor 
und die Auswerteeinheit eine Fahrspurerkennung durchgef iihrt . 
Mit Hilfe dieser bildbasierten Fahrspurverf olgung kann ein 
Ausscheren des Fahrzeugs auf die Gegenf ahrbahn, z.B. zu 
35 Uberholzwecken von der Auswerteeinheit erkannt werden. Im 
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zusammenhang mit einem vorab erkannten Uberholverbot ist es 
dann moglich, wiederum ein Warnsignal auszugeben. 

Neben der Presentation des verkehrszeichens auf dem Anzeige- 
feld 11 ist es auch moglich, dem Fahrer eine Entf ernungsan- 
gabe zur Verfugung zu stellen, die den Abstand zwischen ak- 
tueller Fahrzeugposition und der Position, an der das Ver- 
kehrszeichen detektiert wurde, angibt. Die zusatz information 
14, siehe Figur 4, wird im Anzeigefeld dargestellt. Somit 
hat der Fahrer zumindest eine eingeschrankte Moglichkeit zu 
uberprufen, ob das angezeigte Verkehrszeichen uberhaupt noch 
fur ihn relevant ist. Die Entfernungsinf ormation kann dabei 
direkt aus dem in jedem Fahrzeug vorhandenen Entf ernungsmes- 
ser entnommen werden oder aber durch Verknupfung von Fahr- 
zeuggeschwindigkeitsinf ormation mit der Zeit, die seit der 
Detektion des Verkehrszeichens vergangen ist. Die Auswertung 
der Sensorsignale erfolgt in der Auswerteeinheit 16, die 
Cber die Steuereinheit 17 eine mogliche Ausgabe auf dem An- 
zeigefeld 11 bewirkt. 

Alternativ zu einer Darstellung der Entf ernungsinf ormation 
kann gleichzeitig mit der verkehrszeichendarstellung eine 
Zeitinformation an den Fahrer gegeben werden. Dazu ist die 
Zeitdifferenz zwischen Verkehrszeichendetektion und der ak- 
tuellen Zeit an den Fahrer uber die steuereinheit 17 zu er- 
f assen. 

Fur die Bilderfassung fur die verkehrszeichendetektion ist 
ein CMOS-Sensor mit nichtlinearer Wandkennlinie von Vorteil. 
Verkehrszeichen besitzen im allgemeinen lackierte, metalli- 
sche Oberflachen oder Kunststof f oberf lachen, die glatt sind 
und einfallendes Licht gut ref lektieren. Bei ungunstigem 
Lichteinfall oder Nachtfahrten mit Scheinwerf erbeleuchtung 
kann so eine durch Lichtref lektion oder sonstige Effekte 
verursachte extreme Bildhelligkeitsdynamik auftreten. Mit 
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Hilfe eines nichtlinearen Bildsensors sind diese Hellxg- 
keitsunterschiede beherrschbar, so dafi eine einfache Erstel- 
1U ng eines auswertbaren Videobildes der Auswerteelektronik 
zur Verfugung gestellt werden kann. Besonders vorteilhaft 
ist in diesem Zusatnmenhang ein Bildsensor mit logarxthmi- 
scher Kennlinie. da so eine konstante Kontrastauf losung uber 
den gesamten Helligkeitsbereich gewahrleistet xst. 
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Anspruche 

1. verfahren zur Inf ormationsanzeige in einem Fahrzeug, das 
eine Kattiera (2) und eine damit verbundene Steu- 
er/Auswerteinheit (16, 17) zur Bilderkennung aufweist, da- 
durch gekennzeichnet, dafi auf einer Anzeigeeinheit (11) ein 
Ausschnitt des Bildes der Kamera (2) angezeigt wird, der 
nach Auswertung durch die Steuer/Auswerteeinheit (16, 17) 
ein Verkehrszeichen enthalt. 

2. Verfahren zur Inf ormationsanzeige nach Anspruch 1, da- 
durch gekennzeichnet, da* die Steuer/Auswerteeinheit Infor- 
mation von mindestens einem weiteren Fahrzeugsensor (18. 
19) auswertet und dafi die Ergebnisse der Auswertung zusacz- 
lich zum Ausschnitt des Bildes der Kamera dargestellt wird. 

3. verfahren zur Inf ormationsanzeige nach Anspruch 2, da- 
durch gekennzeichnet, daS die Entfernung oder/oder die Zeit 
seit der letzten Erkennung eines Verkehrszeichens angezeigt 
wird. 

4. verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 3, 
dadurch gekennzeichnet, da* die Klassif ikation des letzten 
erkannten Verkehrszeichens angezeigt wird. 
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5. verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 4, 
dadurch gekennzeichnet, da£ der Ausschnitt des Bildes der 
Kamera den UmriS eines Verkehrszeichens und eines Zusatzzei- 
chens umf afit . 

6. Verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 5, 
dadurch gekennzeichnet, dafi die zuletzt erkannten Verkehrs- 
zeichen abrufbar in einer Datenbank abgelegt und/oder dem 
Fahrer dargestellt werden. 

7 . verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 6 , 
dadurch gekennzeichnet, daS bei einem Soll/Ist-Vergleich der 
Geschwindigkeiten des Fahrzeugs im Fall einer uberhohten Ge- 
schwindigkeit eine akustische und/oder optische Warming er- 
folgt. 

B. Verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 7, 
dadurch gekennzeichnet, daS eine Fahrspurerkennung durch die 
Steuer/Auswerteeinheit erfolgt und daS ein unerlaubtes Aus- 
scheren des Fahrzeugs im Uberholverbot eine akustische 
und/oder optische Warming auslost. 

9. verfahren zur Inf ormationsanzeige nach Anspruch 1 bis 8, 
dadurch gekennzeichnet, daS die Kamera einen nichtlinearen 
bzw. logarithmierenden CMOS-Bildsensor enthalt. 
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